Poka-Yoke 工具设计
概述
Poka-Yoke 工具设计是一种 Agent 工具接口设计方法论,源自制造业防错理念,通过修改接口设计使错误在结构上无法发生,而非依赖模型"记住"正确用法。
关键内容
-
核心理念:Poka-Yoke(防错)思维应用于 Agent 工具设计——通过改变工具接口使错误在结构上无法发生。这比在 prompt 中反复提醒模型"要注意 XX"更有效。
-
SWE-bench 实证案例:Anthropic 工程师发现 Agent 在从仓库根目录移动后,使用相对路径时出错。解决方案不是加强 prompt 警告,而是修改工具定义,要求始终使用绝对路径。效果:模型随后"无懈可击"地使用此工具。
-
与 ACI 的关系:Poka-Yoke 工具设计是 ACI (Agent-Computer Interface) 设计原则的具体实践。Anthropic 在 SWE-bench 上花费在工具优化上的时间多于整体 prompt 优化,证实了工具接口设计应获得与 HCI 同等的工程重视。
-
设计原则:
- 参数名称让意图显而易见(如同给初级开发者写优质文档)
- 通过约束输入格式消除错误可能性
- 工具定义包含示例用法、边缘情况、与其他工具的清晰边界
- 建立工作台(workbench)运行大量示例输入,观察工具使用错误并迭代
来源
- raw/articles/ai-engineering/anthropic-engineering/claude-engineering/07_swe_bench_sonnet.md — 工具设计深度优化案例
相关
- ACI (Agent-Computer Interface) — implements(Poka-Yoke 是 ACI 设计原则的具体实践)
- AI Agent 架构模式 — part_of(Agent 工具设计方法论的一部分)
- SWE-bench — uses(SWE-bench 是 Poka-Yoke 工具设计的验证平台)